查看原文
其他

淘宝设计+AI ,让世界多了百万插画师

龙龙 淘宝设计 2024-03-08

火爆了大半年的AI,造就和颠覆了很多行业领域,最开始大家以为AI会最先替代插画师,结果现在却让摄影师、建筑设计师、产品设计师瑟瑟发抖。


AI功能不断迭代带来了源源不断的创意和业务模式,网络上甚至一度出现了“AI美甲”等非常接地气的实战产品。



然而目前主流AI领域始终有一个矛盾等待被解决,那就是在“像”和“想”之间的取舍,通过不同的工具,可以分别解决“像”和“想”的问题,但始终不能解决品牌IP在创作的时候一个重要的条件,如何在想像的基础上,还有源源不断的创造力。


拿天猫形象举例,首先用Midjourney试一试,经过七七八十一道工序,我们终于可以键入“Make an IP character about black colour cat ”



生成质量不错,好像不是特别像天猫啊...



再拿出祖传的垫图手法,返回的结果却变成了这样。




或者是这样的...



作为品牌设计师,这样的交付物显然没法说服业务和自己,整体画面除了有黑色和猫以外,其他的和“天猫”这个IP没有一点点关系。看来Midjourney在定制化IP表现上并不是一个很适合的工具,但在风格发散以及画面效果上还是可圈可点的。


那么我们试一下传说中的第二个AI神器stable diffusion。




在一番猛烈得安装和学习后,打开的IP大门可能是这样的结果。



stable diffusion在学习后的测试效果还是有的,但形体固化,几乎没有什么想象力在里面,同时动作也被圈死了。在其他丰富语言文字生成时,也并不是自己所期望的IP形态。那么接下来就要对天猫这个IP进行加强训练。


#01

天猫潮玩模型训练:多层次模型训练升华AI创作



如何既保持天猫的基础形态的同时,又能够让天猫有开放性的动作状态呢?又能让画面具有较多想象力呢?比如先明确天猫的头是不能变的,身体是可以调整的姿态的,这样的话天猫的形体是否会变得更开放,同时也能保证天猫形象的准确度。

1.设定IP模型目
首先明确我们的目标,是要打造个性的数字形象?还是追求更丰富的场景表现力?假设我想要更个性的天猫数字形象,就像之前的联名天猫形象。


2.数据集的构建与优化

构建适用于IP模型的数据集是关键一环。搜集具有代表性的素材,同时注意保持数据的多样性,以确保模型能够全面理解并生成独特的数字内容。



在预期想法下,可以快速制作和搜集一些素材。


3.模型训练与优化

通过反复得训练和过程优化,我们能够不断提升IP模型的生成效果。同时密切关注训练过程中的细微变化,及时进行反馈和调整,是达到理想效果的关键。



第一阶段下,天猫初具自己原始的造型,没有惊喜甚至很多错的。



第二阶段下,天猫是对的方向,但还是看过类似的,没什么惊喜。



第三阶段下,天猫长高了,虽然画面有些表现力了,但是多少有点油腻了。没什么特别的。



四阶段下,天猫形象创意度还不错,但背景空荡荡的?为了一次性生图,那继续调整看看。





经过不断地参数调整,短暂达到了预想的画面效果。来一张普通的合影看看。


#02

消费级的AI创作工具:让每个人都开起AI“外挂”





上图左侧是日常情况下产出的基础内容,这个在网上能看很多。右边是经过调试后的稳定出图效果。可以看到“开挂前”“开挂后”的差别真的很大。


首先当我们使用SD时第一步就会遇到,这个词我该怎么填写?网络上会有各种教程,每个人的语言逻辑不同,那么文字逻辑也就不同了。比如下面这张图:



如果让所有人都开起AI“外挂”,单纯文字输入这一环节,就劝退所有人了,更别说模型搭配、硬件配置这些等。


“如何打造一个人人都能用的AI工具”



在这样丰富的准备与调试之后,这个AI用起来能有多简单呢?我测试了几个关键词:



为了保证模型有更加泛化的视觉表现,就需要对模型进行加强融合。融入更多的元素,场景,风格等。这样才能保证模型在不同维度下,会有极具特殊表现。


让人人输入不同内容都能有好效果。


因此在今年双11上线的AI创作赢红包项目中(AIPK),用户只要通过简简单单的几个文字将想象化为现实,让脑海里的创意不再受绘画难度的限制,就能生成奇妙的创意画面。让画面创意生成简单操作,更加降低操作门槛。


使人人都能是自己的插画师。



那么在双11线上AIPK的模型背后,让日常产出的效果开放给百万甚至千万线上用户。面临的问题就是生图时间要极致压缩,所有数据都要压缩,采样方式要改,小模型数量要改,生图流程要改等等诸如此类的控制参数全盘改掉,目的就是为了快那2秒,0.5秒,使用户体验更好。


在AIPK的项目中有一些经验分享:


  • 训练素材多选取不同颜色和角度的训练。例如拿历年双11品牌视觉海报

  • 对训练数据进行详细标签注释,引导模型针对性地学习。例如国风文字统一

  • 利用不同学习率、批次大小等参数对全局和细节的学习。例如多批次训练对比

  • 巧妙利用controlnet强大功能,产生更多2代训练素材,提高模型的生成能力。例如用canny框定轮廓

在不断发展的技术面前,身为设计师更应该尝试并融入AI技术到自己的工作流程中,实现更高效、更创新的设计流程与效果,让AI赋予设计师更加宽广自由的表达空间。


说到这里,我们嘎嘎新的4090差不多也到位了,欢迎加入AI驱动的大淘宝设计团队。



作者:龙龙
////// END //////
淘宝设计,一个服务于全球亿万消费者体验的设计团队,致力于让设计触动人心,让商业美而简单。欢迎加入,公众号后台回复“招聘”,了解最新招聘信息。

继续滑动看下一个

淘宝设计+AI ,让世界多了百万插画师

龙龙 淘宝设计
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存